Toàn quyền Đông Dương đầu tiên là Ernest Constans (1887–1888) và người cuối cùng là Jean Decoux (1940–1945)[10][11]. Bốn toàn quyền quan trọng là Paul Doumer, Paul Beau, Antony Klobukowski và Albert Sarraut.

Một vài Toàn quyền tiêu biểu

Bert, de Lanessan và Rousseau

Trong số các viên chức dưới chế độ Toàn quyền đầu tiên có Thống sứ Paul Bert (19 tháng 10 năm 1833 tại Auxerre - 11 tháng 11 năm 1886 tại Hà Nội) và Toàn quyền Jean Marie Antoine de Lanessan (1891–1894) cai trị theo đường lối liên hiệp. Hai ông sử dụng các bậc trí thức, nho sĩ, thành lập Hội đồng Hào mục gồm 40 người để cố vấn, đối xử ngọt ngào để mua chuộc cảm tình của người Việt, trao quyền hành cho các quan lại người Việt và không xâm phạm các lễ nghi tôn giáo và phong tục của người Việt. Các ông này sau đó bị gọi về Pháp vì đại đa số các viên chức bộ Thuộc địa và giáo hội Pháp không đồng ý với chính sách cai trị ôn hòa đó.[8] Từ năm 1895 đến năm 1897 Paul Armand Rosseau giữ chức Toàn quyền và tập trung quyền lực nhằm đàn áp các phong trào kháng Pháp.[12]

Paul Doumer

Năm 1897, chính sách thuộc địa của Pháp tại Việt Nam bước sang một bước ngoặt khi Paul Doumer (22 tháng 3 năm 1857 – 7 tháng 5 năm 1932) giữ chức Toàn quyền. Paul Doumer là một chính khách ngoại hạng, sau trở thành Tổng thống Pháp, nhưng là một nhà cai trị độc tài mang lại nhiều thay đổi sâu sắc từ lúc ông ta nhậm chức. Ông thiết lập bộ máy nhà nước bảo hộ và xây dựng cơ sở hạ tầng kiên cố tại Việt Nam. Dưới thời Doumer, hệ thống hạ tầng cơ sở tại Đông Dương được kiến thiết rất nhiều, nhưng người dân Việt phải chịu sưu thuế rất nặng để phục dịch và chu cấp cho việc này.[13] Paul Doumer cho xây cây cầu có cùng tên với ông, một trong những cây cầu lớn nhất thế giới lúc bấy giờ, hiện là cầu Long Biên.[14]

Ông chủ trương biến chế độ bảo hộ thành chế độ thực trị, xóa bỏ chủ quyền và thống nhất của Việt Nam, mang đến phân hóa rõ rệt giữa ba miền.[15] Ông tập trung quyền hành vào chức vụ Toàn quyền, ép triều đình nhà Nguyễn đóng cửa Nha Kinh lược sứ Bắc kỳ, giao chức Kinh lược sứ, một chức quan trong triều đình Huế, cho Thống sứ Bắc kỳ lúc bấy giờ là Augustin Fourès.[12] Ông cũng tổ chức khai thác tài nguyên của các nước trong Liên hiệp Đông Pháp, biến Đông Dương thành một thị trường cho kỹ nghệ và thương mãi của Pháp, và cùng lúc thành lập nơi đây một tiền đồn kinh tế và quân sự vững chắc của thực dân Pháp tại toàn cõi Viễn Đông.

Sau khi trở về Pháp, ông tiếp tục tham gia chính trường Pháp, đắc cử Tổng thống Cộng hòa Pháp ngày 13 tháng 5 năm 1931. Ngày 6 tháng 5 năm 1932, ông bị bắn chết bởi một người Nga tị nạn chính trị tại Pháp tên là Paul Gorguloff. Tương truyền khi ông chết, người Pháp định mang thi hài ông táng trong điện Panthéon, nhưng vợ ông không đồng ý, nói rằng: "cả đời ông ấy đã hy sinh cho nước Pháp, còn bây giờ ông ấy là của tôi", rồi bà chôn ông trong khu vườn mộ gia đình, bên cạnh mộ của bốn người con trai, cả bốn đều hy sinh trong Chiến tranh thế giới thứ nhất.

Jean Beau

Năm 1902, Doumer bị gọi về Pháp và Jean Beau thay thế. Jean Beau có tinh thần cấp tiến và mềm mỏng, chủ trương khai hóa dân trí, thành lập các trường học, y tế cục, bệnh viện, tổ chức giúp đỡ dân nghèo.[12] Khi nhận thấy Phong trào Đông Du đưa đến việc nhiều thanh niên Việt Nam trốn sang Nhật học tập, ông cố gắng kềm chế tình trạng xuất dương bằng cách thành lập một trường đại học. Đồng thời ông cũng thành lập Hội đồng Tư vấn Bắc kỳ và các hội đồng tỉnh hạt, cho người Việt được bầu vào các hội đồng.[16] Cùng chung số phận với các Toàn quyền cấp tiến Bert và de Lanessan, Beau bị gọi về về Pháp năm 1907.[15] Antony Klobukowski kế nhiệm (1908–1911) đã bãi bỏ trường đại học và tất cả các hội đồng trên.

Klobukowski

Ngày 26 tháng 8 năm 1908, Antony Klobukowski được bổ làm Toàn quyền Đông Dương. Klobukowski, con rể của Paul Bert, xuất thân là nhà ngoại giao, đã từng làm việc với Thống đốc Thomson ở Sài Gòn, Tổng Trú sứ Bert, Toàn quyền Constans ở Hà Nội và giữ chức ngoại giao ở Nhật và Xiêm La. Tại Bắc Kỳ, Klobukowski thành lập một Hội đồng Tư vấn, một mô thức mới của Hội đồng Kỳ lão của Bert năm 1886. Ngày 30 tháng 1 năm 1909, nhân dịp Klobukowski có mặt ở Huế, Phủ Phụ chính ra Dụ trừng phạt cha mẹ có con xuất ngoại bất hợp pháp.

Klobukowski cũng sửa đổi chính sách "chinh phục tinh thần" của Beau; bỏ Tổng nha Giáo dục Công lập (nghị định ngày 16/3/1909), đóng cửa Viện Đại học Đông Dương và giải thể Hội đồng Phát triển Giáo dục Bản xứ.

Ngày 14 tháng 4 năm 1909 Klobukowski thành lập thêm một phân khoa sư phạm để đào tạo huấn đạo (giáo quan cấp huyện, từ chánh bát phẩm tới chánh thất phẩm) và giáo thụ (giáo quan cấp phủ, từ tòng lục phẩm tới tòng ngũ phẩm). Cho tới năm 1910, phân khoa này đặt dưới quyền phòng 2 của Phủ Thống sứ. Klobukowski còn mở trường Luật (École de Droit) với hai trụ sở Hà Nội và Sài Gòn. Học trình là 2 năm. Trường khai giảng tại Hà Nội ngày 15 tháng 4 năm 1910. Trong niên khoá 1911-1912, Sài Gòn có 18 sinh viên và Hà Nội 32 người.

Ðầu năm 1909, Klobukowski cũng chấm dứt chương trình gửi công chức bản xứ qua Pháp tu nghiệp – chương trình mà Beau tin tưởng là phương tiện hữu hiệu nhất và duy nhất để chống lại ảnh hưởng của Nhật Bản. Phân khoa bản xứ của trường Thuộc Ðịa ở Paris vẫn được duy trì, chỉ thay đổi cách tuyển chọn khoá sinh.

Sau khi xác định Ðề Thám dính líu vào âm mưu nổi dậy ở Hà Nội mùa Hè 1908, Klobukowski cho lệnh tấn công Yên Thế. Ngày 27 tháng 1 năm 1909, đồn điền Phồn Xương bị phá tan. Tháng 7 năm 1909, Ðề Thám bắt cóc một con tin Pháp, định dùng để nghị hòa, nhưng Klobukowski không nhượng bộ.

Ngày 9 tháng 12 năm 1908, Klobukowski ký nghị định cho mua bằng tiền tất cả 10 ngày sưu dịch với giá 0,15 đồng một ngày, hay 1,5 đồng mỗi năm. Tiền này bỏ vào quỹ hàng tỉnh. Sau khi ngân sách hàng tỉnh bị bãi bỏ năm 1911, tổng số tiền mua sưu dịch ở Bắc Kỳ năm 1912 là 765.000 đồng.

Tại An Nam (Trung Kỳ), ngày 31 tháng 12 năm 1908, Klobukowski phê chuẩn dụ ngày 4 tháng 12 năm 1908 của Viện Cơ Mật, chia đều sưu dịch làm 5 ngày sưu tỉnh và 5 ngày sưu xã. Trong số 5 ngày sưu tỉnh, 2 ngày phải mua lại bằng tiền với giá 2 hào (20 xu) mỗi ngày. Ba ngày còn lại có thể mua, hay tự lao động. Ngoài ra, số ngày sưu tỉnh bị hạn chế trong phạm vi tổng hay huyện, ngoài phạm vi này phải có phép Viện Cơ Mật. Năm 1913, ngân sách Trung Kỳ dự trù thu được 364.500 đồng trên khoản mua sưu dịch.

Ðầu năm 1910, Klobukowski phải về nước tham khảo, và trở lại Ðông Dương vào tháng 6 cùng năm. Nửa năm sau, Klobukowski lại về nước. Từ Paris, Klobukowski cho lệnh Toàn quyền Paul Louis Luce cấp học bổng cho Phó bảng Phan Châu Trinh qua Pháp cùng con trai là Phan Châu Dật, lúc ấy mới 8 tuổi. Ngày 1 tháng 4 năm 1911, Phan Châu Trinh cùng con trai rời Sài Gòn. Vì phí tổn do ngân quỹ liên bang đài thọ, hai người được đặt dưới sự quản trị của Julien Fourès, Giám đốc Ðoàn Giáo dục Ðông Dương tại Pháp.

Albert Sarraut

Năm 1911, Albert Sarraut, một chính khách trẻ và lỗi lạc, sau làm đến bộ trưởng Bộ Thuộc địa và đắc cử Thủ tướng Pháp trong hai nhiệm kỳ, sang kế nhiệm chức Toàn quyền. Sarraut thuộc đảng Cấp Tiến Pháp, là một đảng khuynh tả. Sarraut chủ trương làm đúng tinh thần liên hiệp, cho tổ chức lại trường đại học, cho mở mang thêm các trường học các cấp, nới rộng các hội đồng quản trị cho người Việt tham gia. Tuy các nỗ lực của ông bị người Pháp tại Việt Nam cực lực phản đối, chính sách cai trị mềm mỏng giúp ông tại chức khá lâu và tạo nên không khí dễ thở phần nào cho dân bị trị.

Maurice Long

Từ tháng 2 năm 1920 đến tháng 4 năm 1922 Maurice Long làm toàn quyền Đông Dương. Ông cũng có chính sách mềm mỏng tương tự Albert Sarraut nhưng bị phản đối và triệu hồi.[17]

Alexandre Varenne

Năm 1925, Alexandre Varenne sang nhậm chức, và là một Toàn quyền có ý thức nhân đạo. Một trong các hành động nhân đạo tiêu biểu đó là ông cho chích ngừa dịch tả, cải cách các trường học, ân xá cho Phan Bội Châu vừa bị tuyên án tử hình, lập các viện Dân biểu Bắc kỳ và Trung kỳ, mở rộng ngạch tương đương (cadres latérants) trong các công sở cho người Việt có bằng cấp tương đương có quyền nắm giữ các chức vụ tương đương với người Pháp, và thành lập Bình dân Nông phố Ngân quỹ để cho giúp nông dân. Chính sách của ông bị một số người Pháp phản đối dữ dội, và Varenne bị gọi về Pháp năm 1928.[18]